Обучение всех моделей для русской словарной базы закончилось. Файлы моделей и прочие запчасти лежат в папке https://github.com/Koziev/GrammarEngine/tree/master/src/bin-windows64

Перед использованием надо распаковать *.zip файлы, так как они превышают предельный размер для репозитория в github'е.

Выложил на сайте последнюю сборку парсера и part-of-speech tagger'а с самой актуальной русской словарной базой: www.solarix.ru/for_developers/download/win/parser-ru-Win64.7z (80 Мб ( Read more... )

Четверо суток продолжался пересчет новой модели русской частеречной разметки с найденными в ходе random search'а оптимальными параметрами регуляризации L1=0.1 L2=0.5

Новая версия: ошибаемость=1.08%  размер=17,195,012 байта
Старая версия:  ошибаемость=1.11%  размер=76,889,132 байта ( Read more... )

В этом цикле обновления парсера и POS Tagger'а я решил немного поиграться параметрами оптимизатора, попробовать выжать парочку сотых процента в точности.
( Read more... )

На тестовых данных выглядит очень многообещающе и даже чудесно.
Исходное предложение:

Хазяин беспакоится за чистату басейна.

Результат частеречной разметки и лемматизации в новой версии парсера, которую я сейчас обучаю на новом корпусе:
( Read more... )

Для скачивания и свободного использования подготовлены два варианта синтаксического парсера под 32-битную Windows:

Русская словарная база объемом 275,136 статей, 3,718,970 словоформ

Английская словарная база объемом 274,982 статьи, 473,971 словоформа

RU парсер 79.5 Мб

EN парсер 19.6 Мб

В состав архива русского парсера входит вероятностная модель русской ( Read more... )

(начало тут http://kelijah.livejournal.com/173429.html)
Вот простой пример того, как правильное определение морфологического контекста слова позволяет правильно выбрать лемматизирующее правило.
Исходное предложение: Гораздо интереснее обстоят дела с интерконнектом и программным обеспечением.

Слово интерконнектом не словарное. Как получить его ( Read more... )

Новая модель лемматизации работает поверх морфологической модели, и поэтому лучше приспособлена к работе с несловарными элементами - всякими фамилиями, названиями и так далее.

Эта модель будет включена в следующую версию Парсера.

Простой (отладочный) пример. На входе - предложение "Я встретил В.И.ЛенинаНа выходе парсера имеем такую частеречную ( Read more... )

Собрана морфологическая модель (part-of-speech tagger) и синтаксическая модель (восходящий парсер) для английского языка по относительно небольшому корпусу ( Read more... )

Ошибаемость на частеречной разметке: 1.36% (против ~1.13% у русского варианта)

Синтаксический парсер DeSR, обученный на полученном tree bank, дал такие оценки ошибаемости:

Parent mismatch error level=5,650102%
Edge type error level=3,948264%

Это примерно на уровне русского варианта.